python3 chatglm_cpp/convert.py -i /data/llm/models/baichuan-base-gaobao-sharegpt_6w-excel_rule_refine_sampled_15w-gpt4_crawl_3w-ultrachat_9w-human_qa_8k-total_344114_re_checkpoint-5360 -t q8_0 -o chatglm-ggml.bin

CUDA_VISIBLE_DEVICES=0 python3 /home/lxy/baichuan_13b_cpp/examples/web_demo.py  -m chatglm-ggml.bin  --top_k 50 --top_p 0.95 --temp 0.7  --repeat_penalty 1.0 -c 1536 -l 4096

python3 chatglm_cpp/convert.py -i /data/llm/models/baichuan-base-gaobao-sharegpt_6w-excel_rule_refine_sampled_15w-gpt4_crawl_3w-ultrachat_9w-human_qa_8k-total_344114_re_checkpoint-5360 -t f16 -o chatglm-ggml_fp16.bin


CUDA_VISIBLE_DEVICES=0,1 python3 /home/lxy/baichuan_13b_cpp/examples/web_demo.py  -m chatglm-ggml_fp16.bin  --top_k 50 --top_p 0.95 --temp 0.7  --repeat_penalty 1.1 -c 1024


# q51 baichuan
python3 chatglm_cpp/convert.py -i /data/llm/models/baichuan-base-gaobao-sharegpt_6w-excel_rule_refine_sampled_15w-gpt4_crawl_3w-ultrachat_9w-human_qa_8k-total_344114_re_checkpoint-5360 -t q5_1 -o chatglm-ggml-q51.bin

CUDA_VISIBLE_DEVICES=0 python3 /home/lxy/baichuan_13b_cpp/examples/web_demo.py  -m chatglm-ggml-q51.bin  --top_k 50 --top_p 0.95 --temp 0.7  --repeat_penalty 1.0 -c 1536 -l 4096

CUDA_VISIBLE_DEVICES=0   ./main -m /home/lxy/baichuan_13b_cpp/chatglm-ggml-q51.bin --top_k 50 --top_p 0.95 --temp 0.7  --repeat_penalty 1.0 -c 1536 -l 4096 -i

################################

python3 chatglm_cpp/convert.py -i /data/lxy/cym-llama2-gaobao-sharegpt_6w-excel_rule_refine_sampled_15w-gpt4_crawl_3w-ultrachat_9w-human_qa_8k-total_344114_re -t q5_1 -o llama2-ggml-q51.bin

CUDA_VISIBLE_DEVICES=0 python3 /home/lxy/baichuan_13b_cpp/examples/web_demo.py  -m llama2-ggml-q51.bin  --top_k 50 --top_p 0.95 --temp 0.7  --repeat_penalty 1.1 -c 1024


# llama2
python3 convert.py /data/lxy/cym-llama2-gaobao-sharegpt_6w-excel_rule_refine_sampled_15w-gpt4_crawl_3w-ultrachat_9w-human_qa_8k-total_344114_re

CUDA_VISIBLE_DEVICES=0,1 ./quantize /data/lxy/cym-llama2-gaobao-sharegpt_6w-excel_rule_refine_sampled_15w-gpt4_crawl_3w-ultrachat_9w-human_qa_8k-total_344114_re/ggml-model-f32.gguf /data/lxy/cym-llama2-gaobao-sharegpt_6w-excel_rule_refine_sampled_15w-gpt4_crawl_3w-ultrachat_9w-human_qa_8k-total_344114_re/ggml-model-q51.gguf q5_1

CUDA_VISIBLE_DEVICES=0 ./main -m /data/lxy/cym-llama2-gaobao-sharegpt_6w-excel_rule_refine_sampled_15w-gpt4_crawl_3w-ultrachat_9w-human_qa_8k-total_344114_re/ggml-model-q51.gguf --top_k 50 --top_p 0.95 --temp 0.7  --repeat_penalty 1.0 -c 1024  --color -i -r "Human:" -f /home/lxy/llama.cpp/prompts/fuck.txt

CUDA_VISIBLE_DEVICES=0  -i ./main -m ./models/7B/ggml-model-q4_0.gguf -n 128



# neu q8 
python3 chatglm_cpp/convert.py -i /data/llm/models/baichuan-base-sharegpt_6w-neu_3w-poetry_new_3_5p1_5-couple_1w-cotask_4w-total_205017_re-ckpt-4758 -t q8_0 -o neu.bin


CUDA_VISIBLE_DEVICES=0 python3 /home/lxy/baichuan_13b_cpp/examples/web_demo.py  -m /data/lxy/neu.bin  --top_k 50 --top_p 0.95 --temp 0.7  --repeat_penalty 1.0 -c 1536 -l 4096

# neu 32emb+8
python3 /home/lxy/baichuan_13b_cpp/chatglm_cpp/convert_wcl.py -i /data/llm/models/baichuan-base-sharegpt_6w-neu_3w-poetry_new_3_5p1_5-couple_1w-cotask_4w-total_205017_re-ckpt-4758 -t q8_0 -o /data/lxy/neu_wcl.bin

CUDA_VISIBLE_DEVICES=0 python3 /home/lxy/baichuan_13b_cpp/examples/web_demo.py  -m  /data/lxy/neu_wcl.bin  --top_k 50 --top_p 0.95 --temp 0.7  --repeat_penalty 1.0 -c 1536 -l 4096


合理利用以下信息与Human进行交流：\
1.没问题，据我了解东北大学自然语言处理实验室（Northeastern University Natural Language Processing Laboratory）是一个致力于自然语言处理（Natural Language Processing，NLP）研究的实验室。实验室的研究人员包括姚天顺教授、王宝库教授、朱靖波、肖桐教授、王会珍、马安香、张春良、张俐、胡明涵、韩蕴霞等多名资深NLP教师，还有博士生和硕士生等60余人。\n该实验室的研究内容涵盖以下方面：\n机器翻译技术：实验室的研究人员在机器翻译领域进行了深入研究，并在近年来的WMT比赛中取得了显著的成果。他们开发了高质量神经网络框架NiuTensor，改框架也是NiuTrans翻译系统的基础。该翻译系统在跨语言交流和信息理解方面具有重要应用，为促进不同文化之间的交流和合作提供了便利。\n语音方面：该团队同时在语音识别、翻译方面进行了深入的探索，在ACL、EMNLP等会议上发表过多篇论文。\n语言资源构建：实验室的研究人员积极参与语言资源的构建工作，如中文分词、命名实体识别和语义角色标注等。他们贡献了大规模的语料库和标注数据集，为中文自然语言处理的研究和应用提供了重要的资源支持。\n情感分析和情感识别：实验室的研究人员在情感分析和情感识别方面进行了深入研究。他们开发了高效准确的算法和模型，能够自动判断文本的情感倾向和情感状态。这项研究对于舆情监测、社交媒体分析和用户情感分析等领域具有重要的意义。如需了解更多关于东北大学自然语言处理实验室的最新信息，建议您访问东北大学自然语言处理实验室官方网站（www.nlplab.com）。\
2.东北大学自然语言处理实验室的研究人员在自然语言处理领域做出了许多重要成果和贡献。以下是其中的几个例子：\n机器翻译技术：实验室的研究人员在机器翻译领域进行了深入研究，并在近年来的WMT比赛中取得了显著的成果。他们开发了高质量神经网络框架NiuTensor，改框架也是NiuTrans翻译系统的基础。该翻译系统在跨语言交流和信息理解方面具有重要应用，为促进不同文化之间的交流和合作提供了便利。\n语音方面：该团队同时在语音识别、翻译方面进行了深入的探索，在ACL、EMNLP等会议上发表过多篇论文。\n语言资源构建：实验室的研究人员积极参与语言资源的构建工作，如中文分词、命名实体识别和语义角色标注等。他们贡献了大规模的语料库和标注数据集，为中文自然语言处理的研究和应用提供了重要的资源支持。\n情感分析和情感识别：实验室的研究人员在情感分析和情感识别方面进行了深入研究。他们开发了高效准确的算法和模型，能够自动判断文本的情感倾向和情感状态。这项研究对于舆情监测、社交媒体分析和用户情感分析等领域具有重要的意义。\
3.https://www.nlplab.com/ \
Human: 介绍一下东北大学自然语言处理实验室


###############################################################
import sys
sys.path.append("/home/lxy/DPR")
import retriever
###############################################################


    print(f'input is : \t {input}')
    print(f'history is : \t {history}')
    prompt=retriever.r.retrieve(input)
    print('==============================================================================================================================================================================')
    print(f'real input is :\n  {prompt}')
    print('==============================================================================================================================================================================')
   
python scripts/merge_llama2_with_chinese_lora_low_mem.py \
--base_model /data/lxy/models/models--ziqingyang--chinese-alpaca-2-7b-16k/snapshots/0487b71a267380813c0202762fd659e7ff298adb \
--lora_model /data/lxy/dream/sft_lora_model \
--output_type huggingface \
--output_dir /data/lxy/dream/ultimate


CUDA_VISIBLE_DEVICES=0 python scripts/inference/inference_hf.py \
    --base_model /data/lxy/dream/ultimate \
    --with_prompt \
    --interactive



# 最新q51

CUDA_VISIBLE_DEVICES=0,1,4,5 python3 chatglm_cpp/convert.py -i /data/lxy/baichuan-base-ultrachat_enzh-equal_ratio_sampled_excel_gpt_sft-gpt4_sft-human_sft-sharegpt_282802_for_baichuan -t q5_1 -o /data/lxy/ultimate51.bin

CUDA_VISIBLE_DEVICES=1 python3 /home/lxy/baichuan_13b_cpp/examples/web_demo.py  -m /data/lxy/ultimate51.bin  --top_k 50 --top_p 0.95 --temp 0.7  --repeat_penalty 1.0 -c 2000 -l 4096

CUDA_VISIBLE_DEVICES=0 ./build/bin/main -m  /data/lxy/ultimate51.bin -p "" --top_p 0.95 --temp 0.7 -i -v --repeat_penalty 1 -l 4096 -c 1546 


CUDA_VISIBLE_DEVICES=4,5 python scripts/inference/inference_hf.py \
    --base_model /data/lxy/cym-llama2-gaobao-sharegpt_6w-excel_rule_refine_sampled_15w-gpt4_crawl_3w-ultrachat_9w-human_qa_8k-total_344114_re\
    --with_prompt \
    --interactive

# 真的最新的q51
/data/lxy/baichuan-pretrain-cotask-sharegpt-selfInfo-poetryNew-couplet-gptSchool-couple_old-gptTeacher_271358_for_baichuan

CUDA_VISIBLE_DEVICES=0,1 python3 chatglm_cpp/convert.py -i /data/lxy/baichuan-pretrain-cotask-sharegpt-selfInfo-poetryNew-couplet-gptSchool-couple_old-gptTeacher_271358_for_baichuan -t q5_1 -o /data/lxy/neu9m7d_q51.bin

CUDA_VISIBLE_DEVICES=1 python3 /home/lxy/baichuan_13b_cpp/examples/web_demo.py  -m /data/lxy/neu9m7d_q51.bin  --top_k 50 --top_p 0.95 --temp 0.7  --repeat_penalty 1.1 -c 2000 -l 4096 --port 8645


CUDA_VISIBLE_DEVICES=0 ./build/bin/main -m  /data/lxy/neu9m7d_q51.bin -p "" --top_p 0.95 --temp 0.7 -i -v --repeat_penalty 1 -l 4096 -c 1546 

# 真的最新的q8

CUDA_VISIBLE_DEVICES=0,1 python3 chatglm_cpp/convert.py -i /data/lxy/baichuan-pretrain-cotask-sharegpt-selfInfo-poetryNew-couplet-gptSchool-couple_old-gptTeacher_271358_for_baichuan -t q8_0 -o /data/lxy/neu9m7d_q80.bin

CUDA_VISIBLE_DEVICES=1 python3 /home/lxy/baichuan_13b_cpp/examples/web_demo.py  -m /data/lxy/neu9m7d_q80.bin  --top_k 50 --top_p 0.95 --temp 0.7  --repeat_penalty 1.0 -c 2000 -l 4096 --port 8645

CUDA_VISIBLE_DEVICES=0 ./build/bin/main -m  /data/lxy/neu9m7d_q80.bin -p "" --top_p 0.95 --temp 0.7 -i -v --repeat_penalty 1 -l 4096 -c 1546 
